Tied Spatial Transformer Networks for Character Recognition

This paper reports a new approach applied to convolutional neural networks (CNNs), which uses spatial transformer networks (STNs). It consists in training an architecture which combines a localization CNN and a classification CNN, for which most of the weights are tied, which from here on we will name Tied Spatial Transformer Networks (TSTNs). The localization CNN is used for predicting the best affine transform for the input image, which is then processed according to the predicted parameters and passed through the classification CNN. We have conducted initial experiments on the cluttered MNIST dataset, comparing the TSTN and Spatial Transformer Networks (STN) with untied weights, as well as the classification CNN only. In all these cases, we obtain better results using the TSTN architecture. RÉSUMÉ. Cet article présente une nouvelle approche appliquée aux réseaux de neurones convolutionnels (RNC), qui utilise les réseaux de transformations spatiales (RTS). L’approche consiste à construire une architecture combinant un RNC pour la localisation et un RNC pour la classification. Bien que les deux réseaux soient dédiés à des taches différentes, la majorité de leurs poids sont partagées. Par la suite nous appelons ce type de réseaux réseaux de transformations spatiales liées ou RTSL. Le RNC de localisation est utilisé pour prédire la meilleure transformée affine que l’on peut appliquer sur l’image d’entrée, qui est ensuite traitée selon les paramètres prédits et passée au RNC de classification, qui fournit la prédiction. Nous avons mené des expériences initiales sur l’ensemble de données cluttered-MNIST comprenant des bruits additionnels. Nous comparons le RTSL et un RTS avec poids non liés, ainsi qu’avec le RNC de classification seul. Dans tous les cas, de meilleurs résultats sont obtenus en utilisant l’architecture RTSL proposée.